TalendでAmazonS3に接続するコンポーネントまとめ
はじめに
タイトルの通り、TalendでAmazonS3に関連するコンポーネントをご紹介します。 AmazonS3にCSV/TSV形式でデータのバックアップを取る、 RedshiftにCopyするためのファイルを置くなど、AmazonS3関連のコンポーネントを使う機会も少なくありません。
AmazonS3に関連したコンポーネント一覧
Talend Open Studio 6.2.0でAmazonS3に関連するコンポーネントは以下のものがあります。 コンポーネント名を見ればどういった機能かといったことも分かります。
| コンポーネント名 | 機能 |
|---|---|
| tS3BucketCreate | S3のバケットを作成 |
| tS3BucketDelete | S3のバケットを削除 |
| tS3BucketExist | S3バケットの存在チェック |
| tS3BucketList | S3のバケット一覧リスト化 |
| tS3Close | S3への接続を閉じる |
| tS3Connection | S3へ接続する |
| tS3Copy | S3のファイルをコピーする |
| tS3Delete | S3のファイルを削除 |
| tS3Get | S3からファイルを取得 |
| tS3List | S3のファイル一覧リスト化 |
| tS3Put | S3にファイルをアップロード |
使ってみましょう
大体同じような感じで使えるので、悩むことはほとんどないかと思います。 全てのコンポーネントに共通することとして、AWSのアクセスキー・シークレットアクセスキーをセットする必要があります(tS3Connectionを使うのであれば、既存の接続を使いまわすことで省略できます)。 ※また、バージョン6.2.0からAmazon EC2上で実行するのであれば設定する必要がなくなったようです。詳しくはコチラの記事をご覧ください。
tS3BucketCreateとtS3BucketDelete
コンポーネントにAWSのアクセスキーとシークレットアクセスキー、作成したい/削除したいバケット名を設定します。 ジョブを実行すれば、S3にバケットが作成/削除されます。
tS3BucketExist
このコンポーネントに設定することはtS3BucketCreate、tS3BucketDeleteと一緒ではあります。 入力したバケット名が存在する場合はtrue、存在しない場合はfalseがglobalMapにセットされます。 処理結果を取得するためのコードは以下のような形になります。
(Boolean)globalMap.get("tS3BucketExist_1_BUCKET_EXIST");
tS3ConnectionとtS3Close
tS3Connectionで一旦S3に接続した後は、他のコンポーネントでもコネクションを使用できます。 使い方としては、コネクションを使用したいコンポーネントの『既存の接続を使用』チェックボックスにチェックを入れます。 用済みになったコネクションはtS3Closeでクローズします。
tS3BucketList
S3に存在するバケット名の一覧をリスト化します。
他のコンポーネントにはIterateでつないで使用します。
バケット名を取得するためのコードは以下のような形になります。
(String)globalMap.get("tS3BucketList_1_CURRENT_BUCKET_NAME")
tS3Copy
tS3Copyコンポーネントは、ファイルのコピーができます。
コピー元/コピー先のバケット名とファイルのキー名を指定します。
tS3Delete
S3からファイルを削除します。 このコンポーネントはバケット名とキー名をセットするのみです。
tS3GetとtS3Put
tS3GetはS3からファイルを取得して、保存します。 バケット名、キー名、ジョブ実行環境への保存先のパスを指定します。 tS3Putは逆にS3にファイルをアップロードします。 S3のアップロード先のバケット、キー名、アップロード対象ファイルのパスを指定します。
tS3List
tS3BucketListと同じようにS3に保存されているファイル名をリスト化します。
『全てのバケットオブジェクトを表示』チェックボックスのチェックを外して、バケットを絞るのがいいかと思います。
キープレフィックスを指定すればリスト化される対象となるファイル名をさらに絞れます。
ファイルのキー名を取得するコードは以下のような形になります。
(String)globalMap.get("tS3List_1_CURRENT_KEY")
おわりに
以上となります。 簡単ですが、これだけでTalendからAmazonS3のオブジェクトへの操作は大体できると思います。
